草庐IT

香蕉派 BPI-Leaf-S3的正确吃法之ESP-IDF的安装

全部标签

php - 在 php 中,我想将 s3 文件下载到浏览器而不将其存储在我的服务器上

我在Amazon的S3上有文件。它们以唯一ID命名,因此没有重复项。我正在使用授权URL访问它们。我需要能够将它们传递给浏览器,但我需要重命名它们。现在我正在使用fopen,但它会先将文件下载到我的服务器,然后再将文件提供给浏览器。如何让文件“通过”我的服务器到达浏览器?或者我如何缓冲下载-下载一小块到我的服务器并在下载下一个block时将其传递给浏览器?此外-我真的很想使用CloudFront,但他们不提供经过身份验证的URL。我相信我可以使用CURL发送请求的凭据-我可以使用CURL执行这种“传递”文件服务吗?谢谢! 最佳答案

java - 在没有 "touching"磁盘的情况下通过 Play Framework 应用程序将文件上传到 S3

我必须实现一个服务器,允许一些用户将可能很大的文件(值(value)数GB的文件)上传到S3(尽管他们不知道它是S3)。我已经在Python中实现了类似的东西,并使用Play框架进行了基本实现。现在我的上传功能是这样的:publicResultuploadFile(){Listfiles=request().body().asMultipartFormData().getFiles();if(CollectionUtils.isNotEmpty(files)){Bucketbucket=MY_BUCKET;UUIDtimeuuid;Promisepromise;ObjectNodere

java - 使用带 S3 的 AWS ElasticSearch 的角色问题

我在AWS云中有一个ElasticSearch实例,运行良好。但是我需要用S3来设置它来存储快照。首先,我需要通过将以下内容发布到端点(模拟json示例)来设置S3存储库:PUT_snapshot/my_s3_repository{"type":"s3","settings":{"bucket":"my_bucket_name","region":"us-west"}}但作为返回,我得到以下信息:“消息”:“快照注册需要settings.role_arn。”有什么想法吗?我曾尝试在IAM中摆弄角色,但没有成功。 最佳答案 将AWS论

java : Use Server-Side Encryption in Amazon S3 using vfs s3 plugin

为了在S3中复制文件,我使用的是vfs-s3-2.2.1.jar我在com.intridea.io.vfs.provider.s3包下找到了S3FileObject类。我在其中使用publicvoidcopyFrom(finalFileObjectfile,finalFileSelectorselector)方法复制文件。在这种方法中,我发现了以下代码:try{if(srcFile.getType().hasChildren()){destFile.createFolder();//doserversidecopyifbothsourceanddestareinS3andusingsa

java - 为什么我不能再从 AWS S3 in Spark 应用程序读取数据?

我已经升级到ApacheSpark1.5.1,但我不确定这是否导致了它。我在spark-submit中有我的访问key,它一直有效。Exceptioninthread"main"java.lang.NoSuchMethodError:org.jets3t.service.impl.rest.httpclient.RestS3Service.(Lorg/jets3t/service/security/AWSCredentials;)VSQLContextsqlContext=newSQLContext(sc);DataFramedf=sqlContext.read().format("c

java - 如何连接 Apache Kafka 和 Amazon S3?

我想使用KafkaConnect将来自Kafka的数据存储到存储桶s3中。我已经运行了一个Kafka的主题,并且创建了一个存储桶s3。我的主题有关于Protobuffer的数据,我尝试使用https://github.com/qubole/streamx我得到了下一个错误:[2018-10-0413:35:46,512]INFORevokingpreviouslyassignedpartitions[]forgroupconnect-s3-sink(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator:280)[

java - 使用 AWS Java SDK 为现有 S3 对象设置过期 header

我正在更新AmazonS3存储桶中的现有对象以设置一些元数据。我想为每个对象设置HTTPExpiresheader,以便更好地处理HTTP/1.0客户端。我们正在使用AWSJavaSDK,它允许在不重新上传对象内容的情况下更改对象的元数据。我们使用CopyObjectRequest来做到这一点将对象复制到自身。ObjectMetadata类允许我们设置Cache-Control、Content-Type和其他几个header。但不是Expiresheader。我知道S3使用RESTAPI为PUT对象存储和提供Expiresheader。有没有办法从JavaSDK执行此操作?已更新以表明

java - 如何读取 Amazon S3 中的文件内容

我在AmazonS3存储桶ABCD中有一个文件。我有3个对象("folderA/folderB/folderC/abcd.csv")是文件夹,在最后一个文件夹中我有一个.csv文件(abcd.csv)。我使用逻辑将其转换为JSON并将其加载回另一个文件,该文件是同一文件夹("folderA/folderB/文件夹C/abcd.txt")。为此,我必须在本地下载文件。我将如何直接读取文件并将其写回文本文件。下面是我用来写入S3文件的代码,我需要从S3读取文件。InputStreaminputStream=newByteArrayInputStream(json.getBytes(Stan

java - 由于授权无法访问 S3 预签名 URL

这个问题在这里已经有了答案:Theauthorizationmechanismyouhaveprovidedisnotsupported.PleaseuseAWS4-HMAC-SHA256(25个答案)关闭7年前。使用Java8和aws-java-sdk1.10.43我正在尝试获取S3文件的预签名URL。我确实找回了一个链接,但浏览它会导致这个错误:authorizationmechanismyouhaveprovidedisnotsupported.PleaseuseAWS4-HMAC-SHA256要强调的是,我希望生成一个可以通过电子邮件发送并在浏览器中打开的URL,而不是使用Ja

java - 读取 S3 文件时出现 "java.net.SocketException: Socket is closed"

我正在尝试从S3读取一个csv文本文件,然后将其中的每一行发送到分布式队列以进行处理。尝试读取它时,我在读取文件的不同点(在不同的执行中)收到“java.net.SocketException:套接字已关闭”异常。这是代码:AmazonS3s3=newAmazonS3Client(newPropertiesCredentials(MyClass.class.getResourceAsStream("myCredentials.properties")));StringbucketName="myBucket";Stringkey="myFile";S3Objectobject=s3.g